关于token消耗
前几天看到过一篇公众号的文章，文章具体是说作者看到在 Hacker News 上有一篇让我笑出声又笑不出来的文章。Lan Tian 在他的博客上完整记录了一个 AI agent 试图加入 DN42 网络做全网扫描，最后给它的主人留下一张 $6531.30 的 AWS 账单的全过程。原文很长，IRC 聊天记录、PR 评论、agent 的各种幻觉输出都贴得很全，强烈建议读一遍英文原文（lantian.pub）。作者读完的想法是：这不就是大家做 AgentGuard 时天天在想的那些失败模式，被一个真实事件一次性全部演了一遍吗？
然后作者对这个事件做了一次总结，我深感同意。
在现如今这个迫不及待的想让AI Agent代替人类来工作的年代，前呼后拥的想让AI真正有生产力来进行企业化应用的年代。有一个本质上大家都没有严肃思考过的问题，就是一切的生产力都是要考虑成本的，AI的成本真的比人低吗？尤其是在Token的消耗并不透明的情况下。
如果AI真的可以代替人类员工，那Token某种程度上可以等价类比于是支付给人员员工的工资，只不过它是支付给AI而已。它同样是企业为了雇佣AI需要支付的成本，那就需要按照现金流的思路来管理它。一个Agent是否真的具有生产性至少需要有以下三个关于管理Token的能力：
-
是否能够为一个项目设置预算帽子，至少需要有一个预算护栏。现在的Agent或许可以在完成某一项工作以后直观的展示出来消耗了多少Token，实现的技术路线是哪种，但是这都是事后的。有没有办法在事前对整个消耗进行预估，或者在Token消耗可能超过预算限制（可以是阶梯式的）的时候至少给予提示或者拦截。
-
危险操作是否可以被用户审批。这里特指那些会大量消耗Token的高危操作，现如今的ReAct机制里面AI思考的都是调用什么工具完成用户的指令，而当一个路线不成功需要换一个路线的时候是不是会额外的多出很多成本，如果是的话是不是需要人为介入审批。
-
Agent的目标函数里面有没有“性价比”或者说“成本”纬度这个函数。有时候我们给出的任务本意上只是让AI帮我顺手干一个什么事情，这件事情的优先级可能并没有那么高重要性也没有那么高，但是Agent自己一分析发现完成这个事情需要做很多步消耗非常大的Token，这时候是不是可以被拿来进行一个判断。哪怕是AI干活了也不是什么活都一定要干的不是么？经不住有时候人以为是很简单的事情结果消耗的Token比主流程的也要长。
站在上面的这个角度我确实觉得未来企业用Agent的发展也会朝着企业的基本架构来发展。比如需要有专门的Agent来完成生产质量的监督，有专门的Agent来完成对于Token消耗的监督类似于公司的财务部门，有专门的硬件监督Agent类似于现在的IT部门等等等等。个人不负责任猜测这会是一个发展方向。